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摘 要: 从 医学 文本 中 识别 时 间 短 语 是 临床 医学 自然 语言 处 理 的 关键 技术 之 一 。 传 统 基 于 规则 和 机 器 学 习 的 方法 ， 
需要 设计 复杂 规则 和 提取 特征 ， 而 且 大 多 数 系统 采用 串 行 方法 会 导致 错误 的 传播 。 提 出 基于 双向 长 短 时 记忆 网 络 
(BLSTM) 的 神经 网 络 架构 ， 在 识别 时 间 表 示 式 的 同时 判别 它们 的 类 型 : 首先 使 用 卷 积 神经 网 络 (CNN) 学 习 得 到 
单词 的 字符 级 别 向 量 和 大 规模 生物 医学 背景 语 料 上 训练 得 到 的 词 向 量 进行 组 合作 为 BLSTM 的 和 输入， 然后 使 用 
BLSTM 网 络 学 习 单词 的 上 下 文 语 义 表示 ， 最 后 使 用 条 件 随机 场 (CRF) 对 BLSTM 输出 的 序列 进行 标签 优化 。 实 验 
基于 SemEval-2016 任务 12, 结果 表明 没有 添加 任何 特征 的 神经 网 络 学 习 方法 比 该 任务 中 官方 提供 的 最 高 分 的 Fl 值 
提高 了 3%。 
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Temporal phrases extraction in clinical text based on bidirectional long-short term memory model 
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一 z Abstract: Recognizing time phrases from clinical text is a fundamental task for many applications in clinical NLP. Previous 

work mainly adopted rule-based methods or machine learning approaches, which greatly depend on pattern designing or 
Q 2 feature engineering, and the pipeline method used by most systems may lead to error propagation. This paper proposed a 
novel neural network based on bidirectional long-short term memory (BLSTM) to identifying clinical time expressions and 
the type of them simultaneously. First, it combined character-level word embedding trained by convolutional neural network 
(CNN) with word embedding trained from large-scale biomedical corpus together as input to BLSTM, then utilized BLSTM 
to model context information of each word, finally employed conditional random field (CRF) to optimize the output of 
BLSTM. This paper evaluated the model on the Semeval-2016 Task 12; it receives the best F1 value without requiring any 


handcrafted features or rules. Compared with the state-of-the-art systems in this task, the proposed model improves the F1 
scores by 3%. 
Key words: time expressions; clinical text; LSTM 


c 病历 文本 中 时 间 信 息 的 抽取 是 近期 生物 医学 研究 的 热点 。 时 间 和 事件 关系 识别 的 基础 ， 是 整个 任务 的 核心 。 


问题 ， 这 些 信息 可 以 用 来 帮助 医务 工作 人 员 及 科研 工作 者 更 0 ”相关 工作 
好 地 认识 疾病 的 发 展 模式 ， 理 解 和 认识 动态 的 医学 现象 ， 是 
进行 临床 路 径 研究 和 智能 决策 支持 系统 开发 的 基础 中 ,病历 从 相关 文献 来 看 ， 目 前 时 间 短 语 的 识别 方法 主要 采用 基 


文本 是 医务 人 员 对 患者 进行 医疗 活动 过 程 的 记录 ， 由 于 医务 于 规则 的 方法 和 机 器 学 习 的 方法 .基于 规则 的 识别 方法 认为 ， 
人 员工 作 的 快 节奏 及 专业 性 特点 ， 病 历 文本 中 的 时 间 信 息 存 ”自然 语言 中 基本 的 时 间 短 语 都 有 着 清晰 的 结构 和 明显 的 特征 ， 
在 着 书写 格式 不 统一 、 表 述 不 规范 以 及 和 医学 事件 相互 联系 通过 设计 完备 的 规则 可 以 覆盖 大 部 分 的 时 间 信 息 。 在 通用 领 
的 特点 ， 这 些 特点 给 时 间 短 语 的 识别 带 来 了 很 大 的 困难 , 阻 ” 域 ，Str6tgen 等 人 中 采 用 基于 正则 表达 式 的 模式 设计 了 
碍 了 时 间 信 息 的 后 续 利用 ， 所 以 自动 识别 病历 文本 中 的 时 间 ”HeidTime 系统 来 抽取 时 间 表 达 式 , 然后 再 使 用 语言 学 的 规则 
短语 信息 成 为 重要 的 研究 课题 ， 得 到 了 越 来 越 多 的 关注 。 对 表示 式 进行 标准 化 转换 , 在 TempEval-2 的 测评 上 取得 了 最 
在 英文 病历 文本 中 抽取 时 间 信 息 ， 目 前 影响 比较 大 的 是 。 高 的 Fl 值 。 Chang 等 人 名 设计 的 SUTIME 系统 支持 英文 文本 


7 


系列 Clinical TempEval 共享 任务 ， 该 任务 已 经 在 Semeval 会 中 四 种 时 间 类 型 的 识别 : 时 间 〈time)、 持 续 的 时 间 段 
议 上 举行 了 三 次 测评 任务 ， 分 别 为 Semeval2015 Task6 H1, (duration )、 时 间 间 隔 〈interval) 和 时 间 集 合 (set)， 现 已 
Semeval2016 Task12 J 和 Semeval2017 Task12 器。 该 任务 主要 经 集成 到 斯 坦 福 自然 语言 处 理 包 中 。Zhong 等 人 中 提出 了 一 
是 从 医院 病历 相关 文本 中 抽取 时 间 相 关 的 信息 ， 可 以 分 为 医 ”个 叫做 SynTime 的 方法 来 抽取 时 间 表 达 式 ， 在 这 个 方法 在 推 
学 时 间 短 语 抽取 ， 医 学 事件 抽取 、 医 学 时 间 和 事件 关系 抽取 ” 特 数据 集 上 的 识别 效果 超过 了 现 有 的 最 好 方法 。 由 于 病历 文 
三 个 任务 。 医 学 时 间 短 语 识别 是 医学 时 间 信 息 抽 取 任 务 中 的 ” 本 中 医学 时 间 短 语 的 多 样 性 和 不 确定 性 ， 采 用 通用 领域 的 基 
第 一 步 ， 也 是 最 为 关键 的 一 步 ， 它 所 识别 的 时 间 短 语 是 医学 ”于 规则 的 方法 需要 花费 巨大 的 工作 量 ， 例 如 MayoTimel E 
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词法 和 领域 知识 作为 特征 ， 其 中 
THealth 组 还 使 用 了 基于 规则 的 系统 SUTIMEB 的 识别 结果 
需要 花费 大 量 的 时 间 和 精力 ， 而 
在 构建 特征 的 过 程 中 难免 引入 的 一 些 不 准确 的 特征 ， 也 
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筷 识 别 任务 中 设计 了 300 多 个 规则 完成 了 


机 器 学 习 中 的 线性 统计 模型 来 完成 
芭 任 务 。 在 Semeval-2016 的 任务 12 中 ， 
比 类 方法 完成 了 时 间 短 语 的 抽取 任务 。 

隐 性 马尔 可 夫 (HMM) 和 支持 向 量 机 
的 序列 标注 器 进行 时 间 短 语 的 识别 ， 取 得 了 
LIMSI 组 U4 和 GUIR 组 3 使 用 基于 条 件 随 机 
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以 上 这 些小 组 无 一 例外 
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中 
的 上 下 文 语 义 特征 ， 得 到 了 广泛 地 应 用 。Huang 等 人 05 抽 取 
词 的 拼写 特征 作为 BLSTM 网 络 的 输入 ， 然 后 将 BLSTM 


网 络 的 输出 序列 使 用 CRF 模型 的 进行 了 输出 优化 ， 在 
CONLL2003 的 组 块 识 别 任务 上 取得 了 88.83% 的 Fl 值 ,实验 


表明 BLSTM 模型 可 以 有 效 得 建 模 句 子 

CRF 可 以 对 输出 的 标签 优化 ， 获 得 一 个 全 局 最 优 的 标记 序列 。 
的 字符 级 别 向 量 表示 , 并 

组 合 词 向 量 一 起 作为 BLSTM-CRF 模型 的 输入 ， 在 未 使 用 任 


使 用 CNN 模型 学 习 单词 


何人 工 特征 的 情况 下 在 词性 标注 


的 上 下 文 语义 表示 ， 


和 通用 命名 实体 识别 任务 上 


取得 了 不 错 的 成 绩 ， 实 验 不 仅 验 证 


注 问题 上 的 有 效 性 ， 还 说 明了 CNN 


单词 的 拼写 特征 。 李 丽 双 等 人 ("使 用 
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了 BLSTM-CRF 在 序列 标 
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实体 识别 ， 取 得 了 目前 最 好 的 成 绩 。 
行医 学 时 间 短 语 识别 的 下 
务 12 的 测评 任务 中 使 用 了 
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神经 网 络 架 构 进 行 时 间 短语 的 抽取 ， 
方法 和 统计 模型 识别 方法 差 。 


(vanilla 版 本 ) 进 行医 学 时 间 短 语 的 抽 
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识别 效果 比 基 于 规则 的 


从 医学 时 间 短 语 抽取 流程 的 整体 框架 来 看 ， 大 多 数 系统 
都 是 采用 串 行 方法 ， 即 先 识别 出 时 间 短 语 ， 


识别 其 类 别 ， 


这 种 方法 在 一 定 程度 上 会 造成 错误 的 传播 。Lee 等 人 0 提出 


在 识别 时 间 表 达 式 的 同时 识别 其 类 型 的 方法 ， 该 方法 一 定 程 


度 上 可 以 避免 错误 的 传播 。 


CNN 训练 得 到 的 字符 级 别 向 量 
上 训练 得 到 


针对 病历 文本 中 时 间 表 达 的 多 样 
性 、 关 联 性 和 不 确定 性 ， 作 者 提出 了 一 个 三 层 的 基于 双向 长 
短 时 记忆 单元 的 神经 网 络 系统 进行 时 间 短 语 识 别 : a) 
1 大 规模 生物 医学 背景 语 料 
的 词 向 量 进 行 组 合作 为 网 络 的 第 一 层 词 向 量 输入 
层 ;b) 第 二 层 使 用 BLSTM 网 络 学 习 单 词 的 上 下 
c) 第 三 层 使 用 CRE 对 BLSTM 网 络 输出 的 序列 进行 标签 输 
出 优化 。 在 Semeval-2016 的 任务 12 中 语 料 上 的 实验 结果 表 
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“T-Timex-Time” 方式 来 表示 一 个 单词 是 Time 类 型 的 时 间 表 


达 式 的 非 开头 部 分 。 
为 本 文 提出 的 基于 长 短 时 记忆 单元 的 神经 网 络 架构 。 


图 1 


其 共 分 为 三 层 


民 来 实现 ; 第 层 为 词 


可 量 表示 层 ， 


向 长 短期 记 ! 


pa 


词 上 下 文 语义 的 向 量 表示 ， 最 后 在 标签 输入 层 使 / 


第 二 层 为 双 


Z 层 (BLSTM)， 第 三 层 为 标签 输出 层 。 首 先 将 


] 子 分 离 成 一 个 单词 序列 ， 通 过 查询 词 向 量 表 将 输入 的 单词 


转换 为 相应 的 词 向 量 序列 , 然后 和 使 用 卷 积 神经 网 络 (CNN) 
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Fig. 1 Neural network architecture based on BLSTM 
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短期 记忆 层 


E 阵 上 进行 卷 积 来 提 
最 大 池 化 操作 获取 整个 单词 的 字符 


双 辣 长 短 时 记忆 (BLSTM) 网 络 是 一 种 特殊 的 循环 神经 


网 络 (RNN) 模型 ， 它 克服 了 传统 RNN 模型 


而 产生 的 梯度 消失 问题 R13， 己 经 被 成 功 地 运 | 
本 识别 、 文 本 分 类 和 机 器 翻译 多 个 
各 长 短 时 记忆 网 络 在 结构 上 和 双向 RNN 相似 ， 唯 一 不 同 之 


于 序列 过 长 


到 应 用 于 实 


处 是 它 使 用 


LSTM 单元 31 替代 了 双向 RNN 网 络 上 的 隐藏 单 


自然 语言 处 理 任务 中 。 双 
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元 。LSTM 单元 使 用 输入 门 、 记 忆 单 元 、 遗 忘 门 、 输 出 门 来 eolO)-scey)-e| Te] (5) 
控制 上 下 文 信息 被 记忆 或 者 被 遗忘 。 其 结构 可 以 形式 化 地 表 for 
IRA 7 表示 对 应 一 个 句子 X 所 有 可 能 的 标记 序列 ,通过 上 再 
ET Bee 的 公式 得 到 一 个 有 效 合理 的 输出 序列 。 预 测 时 ， 由 公式 输出 
i, =o(w,-[h,_, © x,]+b,) 整体 概率 最 大 的 一 组 序列 : 
č = tanh(w, .[h ® x, ]+b,) (1) y* =argmax(S(x,y)) (6) 
CG =f, XG4 +i xg 1.4 训练 参数 
0, =al Lh, x Jb) 训练 过 程 中 ,采用 随机 梯度 下 降 模 型 AdaGrad 251 9%: 5] % 
or EAG) 选取 为 0.03, 正则 化 参数 为 103。 为 了 减轻 模型 的 过 度 拟 合 


其 中 : “是 激活 函数 sigmod; i,f,0,6 分 别 表示 在 t 时 刻 的 。 在 BLSTM 层 的 输入 /输出 部 分 增加 了 Dropout, 其 值 定 为 0.5。 
输入 门 、 忘 记 门 、 输 出 门 和 记忆 门 ，w,w,w 代表 权重 矩阵 ; 参数 根据 开发 集 的 结果 上 进行 了 调整 。 本 文选 取 可 公共 使 用 
bbb 为 偏 置 向 量 。 对 于 一 个 输入 的 向 量 序 列 200 维 的 PubmedP?51 向 量 集 作 为 单词 的 初始 向 量 查 询 表 ， 
(irre, htelen, 每 一 个 LSTM 单元 的 输入 为 Oiled, 此 向 量 集 从 大 量 的 生物 医学 文献 和 摘要 中 训练 而 成 。 向 量 集 
HTL AY thc} o i 决定 哪些 新 的 言 息 被 存放 在 当前 的 记忆 单元 ”选取 的 实验 依据 将 在 3.2.1 节 中 给 出 。 其 他 向 量 定义 为 200 
a 中 ， /决定 时 电信 妃 在 当前 的 单元 中 将 被 丢弃 掉 ，。% WE AE. CNN 的 窗口 定 为 1， 输 出 向 量 长 EEN 20. 


oOo 


< 


卫 


那些 信息 将 被 输出 到 当前 的 及 中。 2 实验 
padding m i d n ig h t padding 
ane [|| | | | 2.1 数据 集 与 评测 方法 
向 量 | | 文中 采用 Semeval-2016 任务 12 提供 的 梅 奥 医学 中 心 标 
注 的 癌症 病人 的 病理 报告 和 临床 记录 语 料 (THYME WHEN 
人 进行 了 各 项 实验 。 数 据 集 分 为 训练 集 、 开 发 集 和 测试 集 三 部 
me | O | | 分 。 其 中 训练 集中 含有 293 篇 临床 记录 文档 ， 开 发 集 和 测试 
| | | | | i 数据 集 分 别 含有 147 篇 和 152 篇 文档 , 它们 分 别 包含 833, 
[| | 3.078, 1952 个 时 间 表 达 式 。 

在 实验 中 使 用 和 该 任务 一 致 的 评测 方法 ， 在 下 面 的 表 中 
字符 级 特 | | | P 代表 准确 率 (precession),R 代表 召回 率 (recall), F1 代表 F1 
ae i {4 (Fl-measure). 

图 2 卷 积 神经 网 络 的 结构 2.2 ”实验 结果 
Fig.2 Structure of convolutional neural network 2.2.1 词 向 量 的 表示 
为 了 能 够 有 效 利用 单词 的 上 下 文 信息 ， 本 文采 用 如 图 1 词 向 量 的 表示 对 序列 标注 任务 的 结果 有 着 很 大 的 影响 ， 
所 示 的 BLSTM 结构 .BLSTM 网 络 对 每 个 输入 句子 分 别 采 | 文中 选取 以 下 三 类 词 向 量 进行 了 对 比 实验 : a) 随机 初始 化 长 


从 左 到 右 地 顺序 (forward) 和 从 右 到 左 地 顺序 (backward ) FEW 100 维 、200 维 、300 维 的 词 向 量 进行 实验 ; b) 采用 
计算 ， 每 一 个 句子 中 的 第 t 个 单词 经 过 计算 后 得 到 两 种 不 同 ”word2vec 工具 ,对 任务 提供 的 THYME 语 料 进行 训练 得 到 的 


的 隐藏 层 向 量 表示 : hO, 和 4h,， 双 向 长 短 时 记忆 层 的 输出 100 维 、200 维 、300 维 的 词 向 量 ; c) 由 Pyysalo MAKAR 
这 两 个 向 量 的 拼接 计算 得 到 ， 其 公式 如 式 (2) 所 示 。 生物 医学 语 料 中 训练 出 来 的 200 维 的 Pubmed 词 向 量 集 。 实 
EN TTEN (2) 验 结 果 如 表 1 所 示 ， 第 三 类 向 量 取得 了 最 好 的 泛 化 结果 。 
人 —— 表 1 词 向 量 的 选取 对 识别 性 能 的 影响 
1.3 标签 输出 层 Table ] Results with different choices of word embedding 
条 件 随机 场 (CRF)， 是 由 Lafferty 等 人 P4 于 2001 年 提出 词 向 量 表示 P R Fl 
的 无 向 概率 图 模型 。CRF 通过 考虑 相 邻 标签 的 关系 获得 一 个 随机 初始 100 维 81.75 78.31 79.99 
全 局 最 优 的 标记 序列 ， 近 几 年 在 许多 序列 标注 任务 中 都 有 很 随机 初始 200 维 82.35 78.68 80.47 
好 的 表现 。 本 文 使 用 CRF 算法 对 BLSTM 层 的 输出 结果 进行 随机 初始 300 维 82.36 78.43 80.35 
优化 ， 获 得 全 局 最 优 的 标签 输出 。 THYME 语 料 训练 100 维 81.93 78.84 80.36 
对 于 一 个 句子 : THYME 语 料 训 练 200 维 82.22 79.84 81.01 
X={X, XN } THYME 语 料 训练 300 维 82.41 79.75 81.06 
定义 了 为 其 在 BLSTM 层 计 算 后 输出 的 评分 结果 。P 为 nxk Pubmed200 维 向 量 83.72 80.03 81.83 
的 矩阵 , k ATH A EPR, EP 为 句子 中 第 i 个 单 2.2.2 神经 网 络 架构 分 层 实验 
词 输出 第 j 个 标签 的 概率 。 对 于 一 个 预测 序列 y =O end, 对 神经 网 络 结构 进行 分 层 测 试 ， 对 比 实验 的 结果 来 分 析 
它 的 评分 可 以 定义 为 各 个 模块 在 模型 中 起 到 的 作用 ,实验 结果 如 表 2 所 示 。“-CRF” 
Stags A | aS, G3) 表示 模型 去 掉 CRF 层 ， 标签 结果 采 | | softmax 进行 输出 。 
ial “-pretrain” 表 示 模 型 不 使 用 训练 好 的 Pubmed 向 量 集 作为 初 
其 中 : A 是 转移 矩阵 ; A 代表 由 标签 i 转移 到 标签 j 这 里 使 。 始 向 量 ， 而 是 采用 随机 方法 初始 词 向 量 ;“-CNN” 表 示 模 型 
用 softmax 函数 定义 产生 序列 y 的 概率 。 去 掉 CNN 层 , 从 Pubmed 向 量 集中 读 取 的 向 量 直 接 作为 词 向 
plx) -= 7 4 量 的 表示 ;“CNN-BLSTM-CRF ”为 本 文 实验 最 终 所 选用 的 神 
Degen O 经 网 络 模型 。 


训练 数据 的 似 然 函数 为 
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表 2 模型 的 分 层 测试 问题 。 
Table 2 Ablation test performance evaluation 

sees 

模型 P R Fl 3 HRE 
-CNN 80.54 79.82 80.18 本 文 提出 了 一 个 基于 深度 神经 网 络 架 构 的 病历 时 间 短 语 
poy o ee 由 取 模 型 ， 模 型 使 用 卷 积 神经 网 络 有 效 地 表示 了 单词 的 词 形 
特征 ， 通 过 BLSTM 网 络 序列 上 下 文 语义 信息 ， 并 使 用 CRF 

CNN-BLSTM-CRF 83.72 80.03 81.83 spa net E sie i ae 

算法 对 标签 输出 结果 进行 了 优化 ， 在 没有 使 用 任何 人 工 特征 


2.2.3 Dropout 设置 
Dropout 可 以 防止 神经 网 络 模型 的 过 度 拟 合 。 文 中 采用 
不 同 的 Dropout 数值 ， 在 数据 集 上 进行 了 测试 ， 结 果 如 表 3 


和 医学 领域 背景 知识 的 情况 下 性 能 优 于 目前 最 好 的 系统 。 模 
型 还 可 以 用 来 解决 一 些 类 似 的 序列 标注 问题 ， 如 进行 医学 事 
件 的 抽取 。 将 来 ， 可 以 通过 多 任务 的 联合 学 习 ， 使 系统 获得 


C 


Ws 表 3 不 同 Dropout 对 模型 性 能 的 影响 更 好 地 泛 化 能 壁 如 ， 本 文 可 以 训 毕 一 个 同时 识别 时 间 和 
Table 3 Results with different dropout values 事件 信息 的 联合 神经 网 络 模型 来 获得 更 好 地 效果 。 
Droponut 了 R Fl 参考 文献 : 
- 82.51 79.38 80.91 
0.1 82.82 79.63 81.19 [1] Hao Tianyong, Pan Xiaoyi, Gu Zhiying, et al. A pattern learning-based 
-0.3 83.29 79.92 81.57 method for temporal expression extraction and normalization from 
-0.5 83.72 80.03 81.83 multi-lingual heterogeneous clinical texts [J]. Bme Medical Informatics 
-0.8 83.16 79.92 81.51 & Decision Making, 2018, 18 (Suppl 1): 22. 
2.3 与 现 有 其 他 工作 的 对 比 [2] Moharasar G, Tu B H. A semi-supervised approach for temporal 
经 过 上 述 三 组 实验 ， 文 中 选取 维度 为 200 的 Pubmed 向 information extraction from clinical text [C]// Proc of IEEE Rivf 
=, Dropout 为 0.5 进行 实验 ,并 将 实验 结果 与 其 他 优秀 学 者 International Conference on Computing & Communication 
的 实验 结果 相 比 较 ， 比 较 结果 如 表 4 所 示 。 Technologies, Research, Innovation, and Vision for the Future. 2016: 
表 4 和 其 他 学 者 的 工作 比较 7-12. 
Table 4 Performance comparison with previous research [3] Liu Zengjian, Tang Buzhou, Wang Xiaolong, et al. CMedTEX: a 
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LIMSI-1 (Grouin and Moriceau, 2016) 84.00 51.00 63.50 clinical tempeval [C]// Proc of the 9th International Workshop on 
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Semeval-2016 的 评比 中 取得 了 最 好 的 Fl (79.5) 值 。Grouin [6] Bethard S, Savova G, Palmer M, et al. SemEval-2017 task 12: clinical 
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